Trước đây, người Chứt sống du canh du cư, chủ yếu vùng núi tỉnh Quảng Bình và Hà Tĩnh, trong điều kiện rất lạc hậu. A. Cheon và Th. Guignard, hai nhà nghiên cứu người Pháp, đã miêu tả là người Chứt "hết sức nhút nhát, hễ thấy người lạ thì lập tức lẩn trốn. Họ không có quần áo, nam nữ đều che mình bằng vỏ cây sui, ngủ chung lẫn lộn trong hang hoặc trong lều. Họ ăn bột cây nhúc và săn bắt tôm cá, thú nhỏ trong rừng. Cả nam và nữ đều búi tóc đằng sau". Có nguồn cho biết nhóm Rục thời trước có nguồn thức ăn quan trọng là bột cây báng và thịt khỉ.

Dưới thời Pháp thuộc, người Chứt bị miệt thị là "Xá lá vàng". "Xá" chỉ những tộc người lạc hậu; "lá vàng" chỉ cuộc sống di cư, người Chứt thường chỉ sống tại một địa điểm trong những túp lều lợp bằng lá cây khoảng vài ngày cho đến khi lá chuyển sang màu vàng thì bỏ đi nơi khác. Bản thân chữ "Chứt" cũng được hiểu là hang đá, nơi trú ngụ của người Chứt. Với trình độ sản xuất thấp, người Chứt không biết dệt vải. Vào mùa hè nam giới Chứt đóng khố và cởi trần còn phụ nữ Chứt mặc váy. Mùa đông, họ mặc áo làm bằng vỏ cây.

Khi Việt Nam giành độc lập từ Pháp, người Chứt được chính quyền Việt Nam vận động về sống định cư, hòa đồng hơn vào các tộc người khác.

Ngày nay người Chứt đã sống định canh định cư, nhưng các làng của người Chứt (gọi là Cà Vên) thường tản mạn và nhà cửa không bền vững. Họ sống nhờ trồng trọt (nhóm Sách làm ruộng, còn nhóm Rục và A rem là làm rẫy), canh tác lúa, đậu, lạc, trầu không. Khi đến mùa thu hoạch, họ vẫn lên ở các hang núi gần nương rẫy, chỉ trở lại bản làng khi mùa màng xong xuôi. Người Chứt cũng hái lượm, săn bắn, đánh cá, chăn nuôi. Nghề mộc và đan lát khá phổ biến trong các tộc người Chứt. Các đồ dùng bằng kim loại và vải vóc, y phục phải mua hoặc trao do người Chứt không trồng bông dệt vải hay chế tạo đồ kim loại.

Người Chứt ngày nay thường nhận mình là họ Cao, họ Đinh, họ Hồ... Mỗi dòng họ đều có người tộc trưởng, có bàn thờ tổ tiên chung. Trong làng người Chứt, tộc trưởng nào có uy tín lớn hơn thì được suy tôn làm trưởng làng.